MemSFT: Mitigating Alignment Tax with an External Parametric Memory
MemSFT：用外部参数化记忆缓解大模型领域微调的对齐税
🧭 领域专精 · 外部参数化记忆 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Tsinghua University
通过外部参数化记忆和token级动态路由器，在不修改基座模型参数的前提下注入领域知识，完全避免通用能力遗忘
📌 工作参考价值（4 点）
- 记忆训练范式：利用领域数据构建 kNN 检索的 soft label 作为教师分布，结合 KL 散度和交叉熵训练一个独立的 Memory LM，避免直接微调基座模型，可向电商搜索/推荐 LLM 注入商品、规则等新知识而不损害通用对话与推理能力。
- 动态路由器设计：轻量两层 MLP 以基座和记忆的隐藏状态及输出置信度/熵为特征，预测 token 级融合权重；训练时混合领域与通用数据并加入符号正则，自动学习何时依赖记忆，适用于生成推荐理由、推送文案等需要专业性与通用性平滑拼接的场景。
- 记忆复用：同一记忆模块可在共享 tokenizer 的不同规模基座模型上即插即用，无需重训；在电商多模型矩阵中，可一次训练商品知识记忆，供多款 LLM 部署使用，显著降低维护成本。
- 工程成本：训练一个 8B 记忆和路由器的 FLOPs 仅占全量 SFT 的一小部分（如四个基座模型总成本仅 0.22 倍），适合快速迭代注入新业务线知识。